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融合 多 模 态 资源 的 教育 知识 图 谐 的 内 涵 、 技 术 与 应 用 研究 
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摘 要 : 传统 的 教育 知识 图 谱 研究 多 数 面 向 文本 资源 ， 忽 略 了 多 模 态 资 源 对 教育 知识 的 解读 作用 及 其 自身 丰富 的 特 
征 表 示 。 为 了 更 好 地 推进 后 续 研究 工作 ， 以 多 模 态 资源 为 切入 点 ， 对 教育 知识 图 谱 进行 综述 。 首 先 ， 介 绍 了 知识 图 
谱 的 概念 和 分 类 ; 其 次 ， 综 述 了 教育 知识 图 谱 的 内 涵 ， 对 教育 知识 图 谱 的 定义 、 分 类 及 其 构建 框架 进行 梳理 ; HT 
来 ， 结 合 以 神经 网 络 为 代表 的 深度 学 习 方 式 ， 对 教育 知识 图 谱 的 构建 技术 进行 重点 介绍 ; 最 后 ， 总 结 了 教育 知识 图 
谱 的 相关 应 用 ， 并 指出 当前 研究 中 存在 的 问题 与 未 来 的 研究 方向 。 
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Research on connotation, technology and application of educational knowledge graph 
based on multi-modal resources 


Gao Mao, Zhang Liping! 
(College of Computer Science & Technology, Inner Mongolia Normal University, Hohhot 010022, China) 


Abstract: The traditional research on educational knowledge graph is mostly text-oriented and ignores the interpretation 
function of multimodal resources to educational knowledge and its rich characteristic representation. In order to better promote 
the follow-up research work, this paper reviews the educational knowledge graph from the perspective of multi-modal 
resources. Firstly, it introduces the concept and classification of knowledge graph. Secondly, it introduces the connotation of 
the educational knowledge graph, summarizes the definition, classification and construction framework of educational 
knowledge graph; Thirdly, combined with deep learning represented by neural network, it introduces the construction 
technology of educational knowledge graph. Finally, it summarizes the specific application of the educational knowledge 
graph, points out the problems existing in current research and future research directions. 
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0 ”引言 示 ， 提 升 教育 信息 挖掘 的 准确 程度 。 同 时 ， 通 过 教育 知识 图 
= 谱 对 大 量 无 序 的 多 模 态 资源 进行 处 理 ， 能 够 有 效 地 破解 多 模 
近年 来 ， 随 着 “互联 网 + 教育 ”模式 的 普及 ,教育 领 域 逐 态 资源 汇聚 融合 的 难题 ， 对 于 生成 个 性 化 学 习 路 径 、 教 育 资 
渐 积 累 了 海量 具有 应 用 价值 的 教育 数据 。 但 不 同 来 源 的 教育 。 源 推荐 等 智能 教育 应 用 具有 极 大 的 意义 。 
数据 之 间 结 构 不 同 、 没 有 建立 起 相应 的 联系 ， 难 以 直观 地 服 据 调 研 ， 祝 智 庭 、 余 胜 泉 等 学 者 多 次 提出 结合 人 工 智 能 
务 于 教学 参与 者 ， 迫 切 需要 人 工 知 能 、 大 数据 等 新 兴 技 术 采 ”技术 ， 在 实现 教育 智慧 化 的 过 程 中 进行 教育 知识 图 谱 研 究 的 
集 并 处 理 相关 的 教育 数据 ， 为 教师 、 学 生 和 家 长 群体 提供 智 。” 必要 性 全。 李 振 等 人 鸭 在 人 工 智能 的 视角 下 对 教育 知识 图 谱 
能 服务 ， 持 续 促进 教育 应 用 的 智能 化 中。 的 内 涵 、 构 建 技术 以 及 具体 的 应 用 进行 综述 。 李 艳 燕 等 人 站 
知识 图 谱 作为 人 工 智 能 技术 在 知识 工程 方面 的 代表 ,能 。” 则 从 智慧 教育 的 角度 讨论 学 科 知 识 图 谱 的 相关 定义 、 构 建 技 
够 有 效 地 处 理 和 分 析 数 据 ， 重 构 知 识 之 间 的 联系 ， 为 数据 决 术 和 应 用 。 本 文 以 多 模 态 资源 为 切入 点 ， 对 教育 知识 图 谱 进 
策 或 者 分 析 提 供 支 持 争 。 在 2019 年 的 “全 国教 育 信息 工作 会 ，” 行 综述 。 首 先 ， 介 绍 知识 图 谱 的 基本 概述 ， 其 次 ， 总 结 教育 
WE”, 知识 图 谱 和 深度 学 习 、 大 数据 一 起 被 列 为 智能 教育 时 ”知识 图 谱 的 内 涵 ， 对 教育 知识 图 谱 的 定义 、 分 类 情况 和 构建 
尺 下 的 重点 研究 内 容 ， 针 对 教育 知识 图 谱 的 研究 也 成 为 了 教 。 ”框架 进行 梳理 ， 接 下 来 ， 从 教育 本 体 构建 、 教 育 知识 抽取 、 
育 技 术 的 研究 热点 。 教育 知识 表示 和 教育 知识 融合 四 个 方面 对 教育 知识 图 谱 构 建 
教育 知识 图 谱 能 够 基于 教学 过 程 中 产生 的 教学 数据 和 资 。 技术 进行 重点 介绍 ， 最 后 ， 总 结 教育 知识 图 谱 的 相关 应 用 ， 
源 ， 对 不 同学 科 的 多 层次 知识 结构 进行 准确 地 表征 ， 为 教育 。 分 析 当 前 面临 的 主要 问题 和 研究 趋势 ， 在 分 析 当 前 领域 的 同 
教学 对 知识 的 建 模 提供 可 能 性 后 。 但 目前 教育 知识 图 谱 的 数 。” 时 ， 也 为 将 来 该 领域 的 发 展 提供 一 些 借鉴 和 参考 。 
据 来 源 通常 是 文本 数据 和 结构 化 数据 ， 关 了 态 资源 的 研 siit -" 
究 较 少 。 多 模 态 资源 区 别 于 传统 的 单一 媒体 资源 形式 ， 泛 指 1 ”知识 图 谱 的 基本 概述 
教学 过 程 中 产生 的 大 量 文本 、 视 频 、 音 频 以 及 图 片 信息 。 结 2012 年 5 月 ， 知 识 图 谱 这 一 术语 正式 被 谷歌 提出 中， 它 
合 多 模 态 资源 ， 能 够 在 知识 挖掘 的 过 程 中 丰富 知识 的 特征 表 ”使 用 实体 、 实 体 属性 和 实体 关系 的 表述 方式 描述 客观 世界 的 
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各 个 概念 实体 及 其 之 间 的 联系 四， 被 广泛 应 用 在 知识 的 组 织 的 数据 模式 ， 以 保证 数据 的 深度 和 精度 。 

和 语义 化 建 模 研究 中 。 依 据 应 用 领域 的 不 同 ， 可 以 将 知识 图 面向 通用 领域 的 知识 图 谱 有 很 多 ， 如 国内 的 zhishi.me、 
谱 分 为 通用 知识 图 谱 (Universal Knowledge Graph, UKG) 和 领 搜狗 的 “ 知 立 方 ” 国外 的 YAGO, Freebase 等 ， 目 前 被 广泛 


域 知识 图 谱 (Domain-specific Knowledge Graph, DSKG). 通用 应 用 于 搜索 、 推 荐 、 问 答 等 互联 网 应 用 中 。 其 中 ， 有 一 部 分 
知识 图 谱 重点 表示 不 同 领域 知识 之 间 的 融合 ， 涉 及 的 知识 范 。 是 融合 多 模 态 资源 的 通用 知识 图 谱 ， 例 如 Dbpedia'", 
围 较为 广泛 ， 对 于 知识 的 精确 度 要 求 不 高 。 而 领域 知识 图 谱 。 ”Wikidatali1, IMGpedia'?7, MMKGU?Il Richpedial44, 其 特 
将 关注 点 放 在 一 个 特定 的 领域 ， 依 据 领域 知识 特点 构建 严格 AUR CSS Sn 1 所 示 。 


dl 融合 多 模 态 资源 的 通用 知识 图 谱 的 优 缺 点 比较 


Tab. 1 Comparison of advantages and disadvantages of universal knowledge graph fusing multi-modal resources 


名 称 D Dn Sus 数据 源 
popeda 通过 处 理 维基 百科 信息 ， 得 到 结构 化 的 知识 低 成 本 、 大 规模 的 知识 库 ， 拥 数据 不 会 定时 更 新 ， 过 度 依赖 于 维 o 
形式 ， 用 户 可 以 通过 网 络 访问 其 信息 有 完整 的 多 领域 知识 本 体 结构 基 模 板 的 信息 ， 语 言 版 本 不 完整 
B 从 维基 百科 中 进行 知识 抽取 、 存 储 、 关 联 ， 知 识 库 开源 、 用 户 可 参与 编 MEKLKAMI RESER 
Wikidata!" 维基 百科 

进而 形成 的 大 规模 链接 知识 库 丝 ， 且 拥有 多 语言 版 本 。。” 构 知 识 库 的 连接 
IMovediat 将 图 片 数据 链接 到 语义 知识 图 席 中 ， 构 奸 形 在 解决 语义 查询 的 间 题 上 有 天 实体 关系 不 丰富 、 种 类 少 ， 图 像 分 维基 百科 、 

成 多 模 态 知识 图 谱 然 的 优势 类 不 明确 Dbpedia 

Mus Du EE 对 多 关系 链接 预测 和 实体 匹配 图 像 实体 依附 于 文本 实体 ， 没 有 单 
MMKGm 是 Disi a 技术 有 促进 作用 ， 能 够 加 速 多 独 存在 ， 且 实体 匹配 时 没有 考虑 gon 
”。 模 态 学 习 方 法 的 发 展 图 像 的 多 样 性 

在 传统 文本 知识 图 谱 的 基础 上 填充 图 像 实 ”包含 全 面 的 图 像 实体 及 其 之 癌 rii 

Richpedia 实体 种 类 不 够 丰富 ， 有 待 完善 。。 Wikidata、 谷 


体 ， 构 建 包含 文本 、 图 像 实体 的 知识 图 谱 ”的 关系 


领域 知识 图 谱 的 研究 重点 聚焦 于 特定 领域 任务 的 解决 方 ” ”能 教育 应 用 ， 促 进 教育 领域 智能 化 的 发 展 E。 

面 ， 不 少 学 者 在 农业 、 医 疗 、 企 业 服 务 等 领域 构建 知识 图 谱 2.2 教育 知识 图 谱 的 分 类 

0519。 在 融合 多 模 态 资源 的 领域 知识 图 谱 研究 工作 方面 ,Xu 教育 知识 图 谱 不 仅 针 对 传统 意义 上 的 学 科 知 识 ， 而 
等 人 0 将 知识 图 谱 技术 应 用 于 多 模 态 数据 关联 ,构建 了 企业 ”对 教学 场景 中 产生 的 多 种 教学 资源 进行 管理 。 包 括 以 
雷达 产品 开发 的 知识 图 谱 。 面 向 电力 计量 领域 ，Gao 5] AU? K: (1) 静态 知识 图 谱 ， 以 学 科 资 源 为 主 ， 建 立 学 科 知 识 点 
提出 一 种 基于 知识 图 谱 的 电力 大 数据 混合 索引 结构 和 索引 方 。 之 间 、 学 科 知 识 点 与 学 科 资 源 之 间 的 联系 ; (2) 动 态 知识 
法 , 为 多 模 态 数据 的 高 效 检索 提供 了 技术 参考 , Wang 等 人 RY W, 侧重 于 学 科 知 识 点 与 教学 过 程 中 的 活动 以 及 教学 事 人 
提出 一 种 基于 知识 图 谱 的 方法 来 建立 医疗 领域 中 多 模 态 临床 — 之 间 的 联系 等 。 
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数据 之 间 的 联系 。Zhang 等 人 PH 设计 了 一 种 将 图 像 视觉 信息 23 教育 知识 图 谱 构建 框架 

与 Wikimedia 公共 空间 中 的 文本 信息 相 结 合 的 方法 构造 了 金 知识 图 谱 主 要 分 为 自 项 向 下 和 自 底 向 上 两 种 构建 方式 7。 

属 材 料 领域 的 知识 图 谱 。 自 项 向 下 的 方式 侧重 于 知识 模式 ， 也 可 以 理解 为 领域 知识 的 
使 用 知识 图 谱 对 教育 活动 过 程 中 产生 的 数据 进行 建 模 也 ”框架 体系 ， 通 过 构建 好 的 知识 模式 填充 知识 实例 。 自 底 向 上 

成 为 了 当前 的 热点 研究 问题 P34。 目 前 ， 已 经 存在 多 个 面向 不 ”的 方式 偏重 于 知识 实例 ， 即 先 对 知识 实例 进行 抽取 ， 通 过 获 

同学 科 资 源 构建 的 教育 知识 图 谱 。Chen 等 人 请 ] 提 出 了 一 个 自 ”得 的 知识 实例 进一步 提炼 知识 模式 。 当 前 ， 自 底 向 上 的 方式 


动 构建 教育 知识 图 谱 的 KnowEdu 系统 来 支持 教学 。 清 华 大 学 多 数 被 用 在 知识 图 谱 构建 之 初 对 知识 的 整体 框架 不 明确 或 者 
许 斌 副教授 所 在 的 项 目 组 基于 基础 教育 权威 的 教材 教 辅 资源 ， ”单纯 为 了 收集 多 方面 知识 的 通用 知识 图 谱 构 建 研究 中 ， 而 对 
结合 互联 网 中 的 文本 资源 完成 了 我 国 第 一 个 全 学 科 基 础 教 于 内 容 较为 明确 、 且 要 求 体现 相关 领域 知识 深度 的 领域 知识 
知识 图 谱 ， 为 智能 教育 的 实现 提供 了 数据 支撑 。 还 有 研究 者 谱 ， 一 般 采 用 自 顶 向 下 的 构建 方式 。 考 虑 到 教育 领域 对 知 
在 解决 慕 课 (Massive Open Online Course,MOOC) 知 识 资 源 管 识 质量 与 知识 深度 的 严格 要 求 ， 教 育 知识 图 谱 主要 采用 自 顶 
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理 的 问题 上 ， 构 建 了 包括 课程 资源 、 知 识 概念 、 学 生 行为 等 可 下 的 构建 方式 。 
教学 因素 的 教育 知识 图 谱 24-29。 除 此 之 外 ， 一 些 公司 基于 教 随 着 大 数据 技术 的 日 益 成 熟 ， 教 育 数据 不 仅 存在 于 大 量 
育 知识 图 谱 进 行 应 用 , 例如 , 百度 公司 的 K-12 教育 知识 图 谱 、 的 书本 教材 中 ， 还 存在 于 教学 过 程 中 产生 的 非 结 构 化 的 多 媒 
美国 Knewton 自 适 应 学 习 平台 的 教育 知识 图 谱 己 1 等 。 体 数据 、 半 结构 化 的 学 科 资 源 学 习 网 站 以 及 部 分 教育 数据 库 
s R : 的 结构 化 数据 中 ， 需 要 通过 知识 图 谱 构 建 模型 训练 得 到 包含 
Ts Ann [ESSE p 
2 ”教育 知识 图 谱 的 内 洱 不 同学 科 关 系 的 三 元 组 形式 ， 以 构建 教育 知识 图 谱 。 其 具体 


2.1 教育 知识 图 谱 基本 定义 构建 流程 分 为 教育 本 体 构 建 、 教 育 知识 抽取 、 教 育 知识 表示 
目前 ， 对 于 教育 知识 图 谱 还 没有 形成 统一 的 定义 。 通 过 ”和 教育 知识 融合 .其 中 ,教育 本 体 构建 是 依据 教育 知识 体系 ， 
总 结 相关 学 者 对 教育 知识 图 谱 的 研究 ， 认 为 教育 知识 图 谱 应 ”结合 教学 专家 的 经 验 ， 通 过 人 工 或 者 自动 化 的 方式 挖掘 教学 
该 从 以 下 两 个 角度 定义 : (1) 学 科 资源 的 角度 。 教 育 知识 图 谱 ”资源 之 间 的 联系 ， 制 定 知 识 框架 ;教育 知识 抽取 是 依据 教育 
可 以 准确 地 表征 各 类 知识 点 及 其 关联 的 教学 资源 之 间 的 联系 ， ”本体 ， 从 海量 的 教育 资源 中 抽取 相应 的 实体 及 其 之 间 的 对 应 
起 到 对 学 科 资 源 进行 建 模 与 管理 的 作用 户 2。(2) 学 习 认 知 的 关系 ; 教育 知识 表示 是 在 获得 实体 对 的 基础 上 采用 计算 机 可 
角度 。 教 育 知识 图 谱 可 以 建构 学 习 者 的 学 情 信 息 ， 准 确 表征 ”以 理解 的 形式 表示 教育 知识 实体 及 其 之 间 的 语义 关系 ， 为 之 
学 习 者 的 认 知 状态 BUI。 在 二 者 的 基础 之 上 ， 结 合 学 习 资 源 与 ”后 的 知识 融合 提供 帮助 ;教育 知识 融合 是 对 获取 到 的 三 元 组 
学 习 者 的 学 情 信息 ， 教 育 知识 图 谱 可 以 为 学 习 者 生成 多 种 智 。 知识 进行 整合 、 语 义 消 岐 以 及 关联 教学 资源 等 操作 ， 形 成 以 
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学 科 知 识 体系 为 核心 ， 融 合 多 种 教学 资源 的 教育 知识 图 谱 ， 虽然 上 述 方式 能 够 有 效 地 减轻 人 工 构建 本 体 的 负担 ， 但 通常 

iin sedan I Bras. 被 应 用 于 简单 的 领域 知识 本 体 构建 研究 中 ， 考 虑 到 教育 领域 
| 知识 的 复杂 性 ， 自 动 方式 并 不 适用 于 教育 本 体 的 构建 。 


教育 本 体 构建 ”教育 知识 抽取 EFT E p". 


j j 半自动 构建 方式 采用 计算 机 为 主 , 结 合 人 工 干 预 的 方式 ， 
ATHE | 实体 概念 表 | 能 够 在 保证 准确 率 的 前 提 下 有 效 地 减轻 人 工 构建 本 体 的 负担 
实体 识别 | ? | | 实体 链接 | ， 被 广泛 应 用 于 教育 本 体 的 构建 研究 中 。 童 名 文 等 人 64 前 期 通 
Nu R N | 过 基于 关联 规则 的 方式 自动 化 地 抽取 课程 本 体 ,在 此 基础 上 ， 
自动 构建 | 实体 关系 表 | | 通过 人 工 调 优 进 一 步 保 证 本 体 构 建 的 正确 率 。Wang 等 人 B5 
| xxm] Z lar) 通过 分 析 电子 书 日 志 、 控 气 维 基 百 科 信息 的 方式 提取 知识 点 
| D | | 之 间 可 能 存在 的 关系 ， 以 文 持 教师 半自动 地 构建 以 课程 为 中 

半自动 构建 | xm | | 心 的 本 体 。 
i E EE ME ccm NENNEN 前 教育 本 体 的 构建 研究 仅 局 限于 某 一 门 课程 或 针对 于 
图 1 教育 知识 图 i 关 的 构建 过 程 图 某 一 学 科 的 具体 任务 ， 研 究 涉及 的 范围 较 小 ， 且 构建 好 的 教 
Fig. 1 The construction process of educational knowledge graph 本 体 不 具备 迁移 性 ， 难 以 适应 于 其 他 学 科 的 本 体 构建 任务 
EI 1 中 。 视 智 庭 等 人 由 提出 建立 教育 知识 图 谱 的 标准 化 本 体 ， 但 
3 ”教育 知识 图 谱 构 建 技术 促成 这 一 目标 ， 需 要 教育 领域 的 相关 专家 以 及 从 事 教育 数据 
教育 知识 图 谱 的 构建 研究 多 数 面 向 文本 数据 ， 以 自然 语 ”文本 分 析 的 技术 人 员 共 同 努 力 ， 从 理论 和 技术 层面 挖掘 出 不 


言 处 理 任务 为 主 ， 多 模 态 数据 能 够 提供 辅助 特征 ， 对 实体 信 ”同学 科 知 识 体 系 中 的 共性 内 容 ， 制 定 通 用 的 教育 知识 本 体 ， 
息 进 行 准确 地 表征 。 同 时 ， 将 多 模 态 数据 链接 到 教育 知识 图 。 ”为 教育 知识 图 谱 的 构建 提供 便利 。 


谱 ， 作为 文本 实体 的 扩充 ， 可 以 极 大 程度 地 丰富 教育 知识 图 ”3.2 教育 知识 抽取 
谱 的 知识 表示 形式 ， 满 足 知 能 教育 应 用 的 多 元 化 需求 。 本 节 知识 抽取 是 面向 开放 的 教育 资源 ， 利 用 人 工 或 自动 化 方 
结合 多 模 态 资源 的 处 理 对 教育 知识 图 谱 的 构建 技术 进行 阐述 。 ” 式 抽取 出 知识 单元 及 其 之 间 的 关系 , 形成 “实体 -关系 -实体 ” 

3.1 教育 本 体 构建 的 三 元 组 表示 形式 。 
教育 本 体 是 教育 知识 图 谱 的 知识 框架 ， 详 细 描 述 了 概念 早期 的 教育 知识 抽取 方式 是 以 即时 制定 规则 的 形式 处 理 
实体 类 型 以 及 实体 之 间 的 关系 类 型 ， 为 后 续 教育 数据 的 抽取 ”知识 ， 这 样 的 方式 在 面 对 规 模 较 大 的 教育 数据 时 就 变 得 耗 时 


T 


过 程 设 定 了 知识 规范 。 本 体 构 建 主要 分 为 人 工 构建 、 SEIL 耗 力 ， 且 制定 好 的 规则 难以 进行 迁移 。 随 后 ， 支 持 向 量 机 模 
建 和 半自动 构建 的 方式 。 型 (Support Vector Machine, S VM)P9l., 概率 图 模型 (Probabilistic 
人 工 构建 方式 是 结合 领域 专家 的 指导 ， 人 为 定义 概念 实 Graphical Model,PGM)P fT f H 7i n] X f 72 (Hidden Markov 
体 类 型 、 概 念 实体 的 关系 类 型 等 相 关 约 束 。 图 2 是 人 工 构建 Model,HMMDB8 出 现 ， 研 究 者 们 开始 利用 教育 数据 的 特征 进 


的 教育 知识 图 谱 项 层 本 体 。 其 中 ， 学 科 知 识 本体 是 知识 点 对 行 模型 训练 和 信息 抽取 , 有 效 地 减轻 了 人 工 规则 制定 的 负担 ， 
应 的 一 些 属性 ， 例 如 概念 、 定 义 等 ， 课 程 标准 本 体 包括 教学 使 得 统计 机 器 学 习 的 方式 得 到 了 广泛 应 用 。 
目标 、 教 学 活动 等 在 内 的 一 些 教 学 单元 ， 学 习 资源 本 体 涵 盖 以 卷 积 神经 网 络 (Convolutional Neural Networks, CNN)P?! 
教材 、 微 课 等 教学 资源 。 和 循环 神经 网 络 (Recurrent Neural Networks, RNN 3 4& zé 
教学 目标 教学 内 容 | “| 教学 重 难点 | | 教学 策略 的 深度 学 习 技术 ， 在 统计 机 器 学 习 使 用 人 工 标 注 数据 特征 的 
课 外 E A 逐渐 可 以 实现 机 器 自动 抽取 特征 信息 。 
o EE ， 注 意 力 机 制 (Attention Mechanism, AM)'^l, VX Ja 
| TRAGE 教学 活动 x 续 出 现 的 以 Tansformmer 为 架构 的 BERT 预 训练 模型 (Bidirectional 
k T Encoder Representations from Transformers) 9t — 2b (i45 T 
体 学 科 思 维 单元 练习 P D UNUM 为 教育 知识 抽取 黄 定 了 强 有 力 的 
经 过 对 文献 [44,45] 的 参考 与 总 结 ， 得 出 教育 知识 抽取 的 
s| 由 AR | 。 流程 ， 即 通过 实体 识别 获得 文本 资源 的 多 个 知识 实体 ， 在 获 
科 $ 得 知识 实体 的 基础 上 进行 关系 抽取 ,形成 结构 化 的 知识 体系 ， 
i EX "m "m ; Lese ün d 3 所 示 。 
f praj 实体 识别 ”一 一 > 关系 抽取 
本 图 
定理 属性 l l 
学 学 实体 | XN, Sto, non OS) 
b ij 实体 ， 关系 (实体 1， 实 体 2。，…… 实体 ) 
次 资 ZZ LLIIL IM 
ü 源 实体 ， 知识 单元 : 实体 -关系 -实体 
本 f 
体 图 图 3 教育 知识 抽取 流程 图 
图 2 人工 构建 的 教育 知识 图 谱 顶 层 本 体 Fig.3 Flow chart of educational knowledge extraction 
Fig.2 Artificial construction of the top ontology 3.2.1 实体 识别 
of educational knowledge graph 实体 是 教育 知识 的 基本 元 素 ， 其 识别 的 准确 率 对 于 教 
自动 构建 方式 是 使 用 机 器 学 习 等 相关 技术 处 理 数据 得 到 知识 图 谱 的 质量 至 关 重 要 ， 所 以 实体 识别 是 教育 知识 图 谱 构 


知识 本 体 , 分 为 基于 文本 、 基 于 词典 和 基于 本 体 学 习 的 方式 4， ，” 建 的 重点 研究 内 容 。 
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ym 
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IE 


应 


加 了 “ 门 


被 


的 时 序 信息 和 相互 关系 ，LSTM 的 
结构 ”以 模拟 人 脑 的 记忆 过 程 。 
其 双向 形式 BiLSTMI47、 基 于 注意 力 机 制 
是 出 。 教 育 领域 经 典 的 命名 实体 识别 
CRF", BAJ BiLSTM 提取 深度 特征 ， 


m] 


改进 
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大 量 的 深度 神经 网 络 技术 被 应 用 于 实体 
最 广泛 的 就 是 RNN 和 长 短 
Term Memory RNN, LSTM). RNN 


中 


识别 任务 ， 


期 记忆 网 络 *%l(Long-Short 


能 够 很 好 地 学 习 序 列 样本 
EREE RNN PR 
在 LSTM 的 基础 上 ， 


的 


即 从 教 


文本 资源 中 控 
的 先后 顺序 59。 


研究 者 


系 ， 即 学 习 的 
由 


TRAIL 


BiLSTM 


Ipit 


方法 是 BiLSTM- 


j 条 件 


随机 场 


(Conditional Random Field，CRF) 模 型 进行 文本 序列 标注 。 随 


着 预 训练 模型 
与 BiLSTM-CRF 结合 ， 进 一 步 提 升 命名 实体 识别 的 ? 
HBILSTM-CRF 模型 对 教育 领域 突 发 
率 达 到 了 91.62%， 为 政府 对 
教育 突 发 事件 的 决策 提供 了 帮助 。 BERT+BiLSTM-CRF 模型 


Wei 等 人 560 使 用 BERT- 
事件 语料库 进行 实体 识别 


准确 


的 提出 ， 研 究 者 将 BERT. XLNet 等 预 训 


练 模型 
ERDO, 


获取 文本 对 应 的 
; 最 后 使 用 CRF 


结构 如 图 4 所 示 ， 首 先 ， 通 过 BERT 编码 层 
向 量 表示 ; 然后 使 用 BiLSTM 进行 特征 提取 
对 序列 进行 解码 和 注释 ， 以 准确 预测 实体 及 其 对 应 的 类 型 。 
字 序 列 M Xa X X, 
Eod 
BERT 模 块 


应 用 于 学 科 知 识 点 


无 监督 
识 点 之 
NE: 


者 的 奶 


用 基于 关 
顺序 。 文 献 [60， 


闫 规则 
61] 从 MOOC 课程 资源 出 发 , fi) 
方式 ， 结 合 知 识 点 的 概念 特征 、 
知识 点 的 关系 抽取 ， 取 
相 比 于 传统 的 基于 
度 学 习 技 术 能 够 有 效 划 


的 关系 


。 随 着 知 
负担 
EE 
的 方式 对 MOOC 视频 的 日 
间 的 依赖 关系 。Yu 等 人 
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识 资 源 规模 的 扩大 


日 ， 研 究 者 将 机 器 学 习 的 


ES 
PAR 


言 息 进行 分 析 , 以 抽 
六 通过 分 析 学 习 者 的 行 


究 中 。Chaplot 等 人 G9 使 用 


昌 出 知识 点 之 间 的 语义 关系 以 及 学 习 


其 通过 人 工 的 方式 建立 课程 资源 之 间 的 依赖 关 
6 后 顺序 [5758 
了 概念 关系 的 


方式 


取 知 


的 机 器 学 习 方 式 ， 获 得 知识 点 的 学 习 


机 器 学 


得 了 


良好 
规则 和 机 器 学 习 的 关系 抽取 技术 ， 
其 。 当 前 基于 深度 学 习 技术 进行 关系 


图 特征 以 及 结构 特征 等 


的 效果 。 


习 的 


进行 


深 


据 的 需求 ， 深 受 
取 的 研究 


集中 在 有 监督 学 习 和 远程 监督 学 习 的 方面 有 监督 学 


研究 
热点 


习 方 HI; 


EEVI CNN, RNN, LSTM 及 其 相应 的 改进 形式 为 


表 2 基于 深度 学 习 的 有 


由 取 方 法 分 类 


E, 如 表 2 所 示 。 


Tab. 2 Classification of supervised relation extraction methods 


based on dee 


p learning 


类 型 ”相关 工作 


对 比分 析 


= LR Y & Bh 5 2 E 
CNN 文献 [62-65] J 能 够 很 好 的 解决 机 器 学 习 依 赖 


F 动 提取 特 


E 的 问题 ， 实 现 “ 端 到 端 ” 的 关系 抽取 
Em CNN 模型 较 难 实现 时 序 特征 的 提取 ， 而 RNN 
RNN 文献 [66,67] PEER 
| 能 够 处 理 长 距离 词 之 间 的 依赖 问题 
Bisat < LSTM 文献 [68.69] RNN 无法 解决 关系 抽取 语 料 中 长 期 人 六 的 问题 
T LSTM 能 够 从 语 料 中 学 习 到 长 期 依赖 关系 
Liu 等 人 [ 氏 首 先 使 用 由 输入 层 、 卷 积 层 、 池 化 层 和 
Softmax 层 构成 的 简单 CNN 模型 , 通过 输入 文本 的 词 向 量 和 
CRF 模 块 | 0 0 B-PREP | | B-PREP 位 置 向 量 抽取 实体 关系 。Zeng 等 人 [6 利用 卷 积 深度 神经 网 络 
CDNN 进行 关系 抽取 ， 通 过 提取 文本 资源 中 词汇 级 别 和 句子 
图 4 BERT+BiLSTM-CRF 实体 识别 模型 级 别 的 特征 ,将 其 映射 成 高 层次 的 语义 特征 以 实现 关系 分 类 ， 
Fig.4 BERT+BiLSTM-CRF entity recognition model 避免 了 使 用 预 处 理 操作 提取 到 的 错误 特征 问题 此 后 , Xu 等 
有 研究 者 考虑 到 文本 数据 所 提供 的 特征 信息 很 有 限 ， 准 人 [的 在 Zeng 等 人 工作 的 基础 上 提出 基于 最 短 依存 路 径 的 
确 率 较 低 ， 提 出 利用 所 要 识别 实体 的 上 下 文 信息 ， 即 图 像 信 CNN 方法 , 结合 负 采 样 策 略 解决 实体 位 置 较 远 时 依存 分 析 树 
息 辅 助 预测 实体 信息 。 相 关 工 作 方面 , 文献 [52] 利 用 图 像 信息 带 来 的 噪声 问题 。Santos 等 人 [95 替换 Zeng 等 人 模型 中 的 
为 文本 提供 互补 的 上 下 文 信息 ， 以 提高 实体 识别 的 质量 。 考 Softmax 层 , 使 用 排名 进行 分 类 输出 , 并 提出 一 种 新 的 排名 损 
虑 到 图 像 中 包含 的 细 粒 度 实体 特征 与 文本 信息 进行 匹配 的 问 失 函 数 ， 能 够 给 予 正确 类 别 排名 信息 更 高 的 分 数 ， 对 关系 类 
题 ， 文 献 [53] 提 出 了 一 种 基于 门 控 双 线性 注意 力 机 制 的 对 抗 别 实现 有 效 地 区 分 。 
神经 网 络 (Adversarial Gated Bilinear Attention Neural Network， 除了 使 用 CNN 进行 关系 抽取 ，RNN 首次 被 提出 用 来 处 
AGBAN)， 该 模型 从 图 像 和 文本 中 联合 提取 实体 特征 ， 并 利 理 自然 语言 文本 中 句子 结构 的 问题 699， 其 通过 不 停 的 迭代 获 
用 对 抗 训练 的 方式 将 两 个 不 同 的 知识 表示 映射 到 共享 表示 中 ， ”得 句子 的 向 量 表示 ， 在 关系 抽取 任务 中 有 效 地 融入 了 句子 结 
有 效 地 提取 了 与 实体 相关 的 细 粒 度 特征 信息 。 此 外 ， 除 了 文 构 表 示 信 息 。 此 后 研究 者 不 断 对 RNN 作出 优化 , 例如 增加 特 
本 和 图 像 对 齐 的 情况 ， 如 果 出 现 图 像 与 文本 不 匹配 或 者 只 包 征 、 引 入 平均 信息 等 方式 [671。 
含 一 种 模 态 信息 的 情况 下 ， 文 献 [5 和 提出 了 一 个 不 确定 性 感 作为 RNN 的 改进 形式 ，LSTM 模型 831 的 提出 主要 是 为 
知 的 多 模 态 实体 识别 框架 ， 处 理 图 像 不 存在 或 者 图 像 与 实体 了 解决 RNN 在 关系 抽取 中 出 现 的 梯度 消失 等 问题 ， 其 具备 
不 对 应 的 问题 。 从 语 料 中 学 习 长 期 依赖 的 优势 。 哪 海 红 等 人 69 采 用 LSTM 的 
在 教育 领域 ， 传 统 的 实体 识别 任务 只 针对 文本 数据 ， 忽 变 体 形式 GRU, 结 合 CNN, RNN 对 基于 LSTM 的 关系 抽取 
各 了 多 模 态 数据 对 于 准确 预测 实体 的 重要 性 。 后 续 研 究 者 可 方式 作出 改进 ， 进 一 步 提升 了 关系 抽取 的 准确 率 。 
以 从 多 模 态 数据 为 文本 数据 提供 互补 的 特征 或 者 挖掘 多 模 态 监督 的 关系 抽取 方式 不 能 很 好 地 处 理 语料库 中 包含 大 
资源 蕴涵 的 某 些 特质 信息 出 发 ， 对 实体 识别 任务 进行 优化 。 量 无 标签 数据 的 情况 ， 而 远程 监督 学 习 能 够 通过 已 有 的 知识 
例如 ， 可 以 将 课本 中 的 图 片 或 者 学 习 网 站 中 的 插图 信息 作为 库 进 行 知识 对 齐 , 解决 训练 数据 的 标注 问题 。 文献 [69] 使 用 远 
辅助 特征 ， 为 前 沿 的 基于 预 训练 模型 的 课程 知识 实体 识别 方 程 监督 的 方法 进行 关系 抽取 ， 解 决 了 语 料 标注 稀少 的 问题 。 
法 提供 视觉 上 下 文 信息 ， 进 而 提升 准确 率 。 也 可 以 发 掘 多 模 基于 远程 监督 学 习 的 方式 容易 产生 错误 标签 ， 影 响 关 系 抽取 
态 资 源 中 的 特质 信息 ， 为 实体 识别 任务 提供 先 验 知识 ， 例 如 的 质量 。 基 于 此 ，CNN 的 改进 模型 PCNN+MILIO 、 
使 用 课程 语音 资源 的 语气 停顿 信息 对 文本 进行 准确 分 词 等 5]。 PCNN+ATTI7 被 提出 且 有 效 地 降低 了 错误 标签 对 关系 抽取 
3.2.2 关系 抽取 的 影响 。 文 献 [72] 基 于 远程 监督 的 思想 ， 结 合 Transformer 架 
关系 抽取 是 在 获得 学 科 实 体 的 基础 上 对 其 进行 语义 链接 ， 构 ， 提 出 BTRE-GCLSTM 模型 ， 对 初中 数学 课程 的 知识 点 
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关系 进行 抽取 ， 取 得 了 较 好 的 效果 。 
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的 三 元 组 知识 。 传 统 的 教育 知识 表示 方法 是 采 
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网 络 本 体 语 


基于 远程 监督 进行 关系 抽取 是 目前 教育 知识 图 谱 中 主流 言 (Web Ontology Language,OWL) 或 者 资源 描述 框架 (Resource 
的 关系 抽取 方式 ， 但 该 种 方式 由 于 引入 了 外 部 知识 ， 导 致 了 Description Framework,RDP) 等 本 体 语 言 进行 描述 [31]， 但 上 述 
大 量 数据 噪声 的 产生 ， 造 成 了 相关 研究 者 的 困扰 。 使 用 强化 方式 存在 计算 效率 不 高 与 数据 稀疏 的 问题 。 随 着 深度 学 习 技 
学 习 和 对 抗 学 习 能 够 进行 噪声 检测 、 提 升 神 经 网 络 模型 对 于 术 的 发 展 和 应 用 ， 教 育 知识 表示 逐渐 转变 为 当前 的 向 量 表示 
噪声 样本 的 鲁 棒 性 ， 相 关 研 究 者 可 以 基于 强化 学 习 和 对 抗 学 形式 ， 即 从 结构 化 的 三 元 组 中 学 习 知 识 表 示 ， 将 其 租 入 到 向 
习 的 方式 ， 对 远程 监督 数据 集 进行 降 品 。 量 空间 中 [为 ， 准 确 表征 知识 实体 之 间 的 语义 关系 。 根 据 处 理 
3.3 教育 知识 表示 数据 类 型 的 不 同 ， 将 知识 表示 模型 分 为 传统 的 知识 表示 模型 
教育 知识 表示 是 针对 教育 知识 图 谱 的 数据 实例 层面 ， 指 和 多 模 态 知识 表示 模型 ， 如 表 3 所 示 。 结 合 深度 学 习 方 法 ， 
采用 计算 机 可 以 “理解 ”的 方式 描述 通过 知识 抽取 过 程 得 到 本 文 对 各 类 模型 作出 分 析 。 
表 3 传统 知识 表示 模型 和 多 模 态 知识 表示 模型 的 比较 
Tab.3 Comparison between traditional knowledge representation model and multimodal knowledge representation model 
类 型 方法 等 点 优势 不 足 
利用 向 量 平移 的 思想 ， 在 同一 个 向 量 空间 中 建 简单 、 高 效 ， 能 够 较 好 地 适应 
TransEU5! BEAR T RS AS AES P 
HISE BESCUERDER 于 多 关系 数据 的 处 理 问题 0 ERATES REARUR 
传统 知识 表 在 实体 空间 和 多 个 关系 空间 中 建 模 实体 和 关 计算 复杂 度 高 ， 头 尾 实体 的 类 型 可 能 
TransRDq 司 时 兼顾 了 实体 和 关系 的 多 样 性 
示 模型 CSS 系 ， 并 在 对 应 的 关系 空间 中 进行 转换 同时 凑 磺 了 实体 和 关系 的 多 样 性 入 天， 难以 应 用 于 大 规模 知识 图 谱 
对 每 个 实体 和 关系 用 两 个 向 量 表示 ， 第 一 个 表 有 的 新 事实 很 难 从 现 有 的 情况 中 推 
TransDI7"] i 杂 度 较 低 ， 参 数 少 
maD 示 本 身 的 语义 ， 第 二 个 向 量 用 于 构造 映射 年 阵 计算 复 条 度 稚 低 参数 论 得 出 
在 TransE 的 基础 上 ， 加 入 了 实体 的 文本 描述 和 显著 提高 了 链 路 预测 和 三 元 组 
T AEUSI y H Hy 区 | ENI INSE 3 : f 
rans 图 像 特征 信息 分 类 的 性 能 没有 提取 图 像 里 的 多 个 实体 和 实体 关系 
补充 图 谱 的 实体 类 型 ， 使 得 准 只 考虑 图 像 里 包含 的 单个 实体 ， 没 有 
IKRLUÜ? 在 TransE 的 基础 上 ， 实体 的 图 像 特征 信息 
多 模 态 知识 GE THESE JAER Es MIA TSSASEISIMENHISNSS. caa JT cH 考虑 多 个 实体 存在 的 情况 
表示 模型 DIRLS 在 TransR 基础 上 ， 加 入 了 实体 的 文本 描述 和 图 在 结构 信息 缺失 时 提供 了 必要 相 较 于 基础 的 TransE、TransR 模型 ， 
像 特征 信息 的 补充 信息 该 模型 的 时 间 成 本 较 高 
TTMEAE 结合 TransE、TransD， 加 入 了 实体 属性 描述 和 为 多 模 态 实体 对 齐 提供 较 好 的 在 多 模 态 实体 对 齐 过 程 中 可 能 会 引入 
实体 对 应 的 图 像 特征 信息 解决 方案 错误 信息 
作为 知识 图 谱 中 传统 知识 表现 形式 的 代表 ，TransE 将 实 方法 ， 为 教育 知识 的 融合 、 增 量 更 新 以 及 多 种 下 游 应 用 
本 和 关系 向 量 表示 在 同一 个 向 量 空间 [3， 并 将 关系 向 量 看 做 任务 提供 支持 。 
是 头 实体 到 尾 实 体 向 量 之 间 的 平移 操作 , 如 式 (1) 所 示 。 文献 [82] 3.4 教育 知识 融合 


AL 


rH 


WEAR 


表示 关系 向 量 。 
Wang 等 人 中 在 TransE 的 基础 上 作出 改进 ， 提 出 第 一 个 


多 模 态 知识 表示 模型 TransAE， 使 | 
作为 外 源 信 


度 ， 为 学 生成 绩 预测 应 ) 
题 提 供 了 较 好 的 解决 方案 。 


: lhead 与 lai 分 别 代表 头 实体 辣 量 与 


使 用 TransE 和 Distmultts3] 的 知识 表示 学 习 方 式 建构 课程 知识 
图 谱 中 知 


内 容 的 角 


间 的 关系 ， 从 学 生 的 先 验 知识 和 课程 
中 协同 过 滤 算 法 的 冷 启动 


(1) 


lrelation 


laa + batarion = lait 


尾 实 体 疝 量 ; 


实体 的 文本 描述 和 图 像 


息 对 知识 表示 进行 补充 ， 在 链接 预测 和 三 元 组 分 
类 的 任务 中 取得 了 不 错 的 效果 。Xie 等 人 


79 提 出 TKRL 知识 


El 


Jo 


码 ， 


念 表示 、 
表示 ， 
任务 


VG 


RREN, 
图 谱 的 结构 知识 进行 知识 表示 ， 能 够 较为 准 
BERT 模型 对 文本 概念 


和 图 像 


文献 [80] 使 用 
利 


经 网 络 图 


] CNN 编码 器 提取 图 


de 
结合 


像 编码 器 对 图 像 信 息 编码 ， 
确 地 预测 实体 信 
的 语义 表示 进行 编 
在 此 基础 上 , 将 文本 概 


像 特征 ， 


p 


图 像 特征 表示 与 翻译 模型 TransR 
在 知识 图 谱 补 全 Knowledge Graph Completion, KGC) 
取得 了 不 错 的 效果 。 文 献 [81] 使 用 深度 卷 积 * 


结合 共同 学 习 知 识 


h 经 网 络 


GNet 表示 


图 像 信息 , 结合 TransE 和 TransD, 将 文本 信息 


a 
BE 


息 柑 入 到 统 


实体 对 齐 任务 。 


前 针对 教育 知识 图 
少 ， 但 随 着 教育 数据 资源 范 国 


的 低 维 空间 中 ， 有 效 地 支撑 了 多 模 态 


谱 的 多 模 态 知识 表示 研究 较 
的 不 断 扩 大 ， 教 育 知识 表 


示 正 朝 着 更 全 面 的 模 态 
向 发 展 ， 未 来 可 
识 以 及 多 模 态 知 


层次 以 及 更 丰富 的 语言 关联 方 


以 从 建 模 逻辑 规则 、 结 构 化 和 非 结 构 知 
识 表示 等 多 个 角度 优化 教育 知识 表示 


由 


于 教育 数据 库 中 的 知识 来 源 复杂 ,知识 质量 参差 不 齐 ， 


且 不 同 来 源 的 学 科 知识 实体 间 存 在 关系 模 壮 


的 问题 ， 所 以 必 


须 在 统一 的 规范 下 对 多 源 异 构 、 语 义 多 元 的 教育 数据 进行 整 


合 、 消 


皮 、 合 并 等 操作 , 该 过 程 也 称 为 教育 知识 融合 过 程 [9。 


教育 知识 融合 的 关键 技术 是 实体 链接 和 实体 对 齐 。 


3.4.1 实体 链接 


下 ， 首 先 ， 
称 指 


实体 链接 是 通过 同义词 消 岐 等 方式 将 文本 资源 中 的 
实体 对 象 正确 链接 到 知识 图 谱 实 体 的 任务 。 
通过 实体 识别 技术 ， 
尺 实 体 )， 然 后 遍历 知识 图 谱 中 的 实体 ， 形 成 候选 的 
依据 不 同 的 方式 对 二 者 进行 


方式 主要 分 为 基于 实体 


= 


ES 


的 方法 9 。 


体 过 程 如 
FP 的 实体 (也 


识别 出 


文本 


匹配 。 实 体 链接 的 
属性 信息 的 方法 8653 和 基于 上 下 文 


基于 实体 属性 
配 ， 祁 晓 慧 等 人 B7 使 用 


性 1 [zr 


的 音频 资源 处 


体 过 程 如 图 5 


所 


n 


的 方法 主要 对 实体 名 称 字符 串 进行 匹 
语音 识别 技术 将 《数据 结构 》 课 程 中 
里 成 文本 资源 ， 并 利用 正则 语言 的 方式 匹配 课 
程 知识 图 谱 中 的 实体 ， 以 链接 知识 实体 对 应 的 语音 资源 ， 具 


EE 
de E VA 


Cp ' 


链接 实体 对 应 


的 语音 资源 


> FRU > 


Fig. 5 Entity 
此 外 ， 还 有 研究 者 依 ] 


图 5 


实体 链接 过 程 图 
linkage process diagram 


居 Cosine 距离 和 Jaccard 相关 系数 
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的 方法 计算 实体 名 称 的 相似 度 ， 如 式 (2)、 式 (3) 所 示 ， 取 得 了 ” 述 方式 较为 片面 ， 并 不 能 准确 捕捉 多 模 态 资源 本 身 的 特征 ， 
较 好 的 效果 。 多 横 态 资源 转换 成 文本 资源 的 过 程 中 存在 很 大 的 噪声 问题 。 
Sim nsn (e.e;) = AEAN (2) 以 图 像 实体 链接 任务 为 例 ， 后 续 的 研究 方向 可 以 考虑 引入 图 
[aCe Ale] BRE E PEE DL 3 8 7 UBUAS 75 EIR E P VETRE, 
Bul cd esae |4(e)m4(e) 6) 解决 上 述 方式 存在 的 问题 。 
[Ale ) 2 A(e;) 3.4.2 实体 对 齐 
Hrs 实体 eue 指 需要 比较 的 实体 对 ， 而 ACO 指 的 是 实体 相 实体 对 齐 是 判断 不 同 来 源 的 实体 是 否 对 应 同一 个 现实 对 
对 应 的 字符 串 。Simeosine(enez) 是 使 用 余弦 距离 计算 向 量 相 似 。 象 的 任务 ， 通 常 被 用 于 多 个 知识 图 谱 的 合并 过 程 中 。 当 前 的 
度 的 方式 ， 即 利用 向 量 空间 中 两 个 向 量 之 间 的 夹 角 衡量 实体 主流 研究 趋势 是 利用 知识 表示 的 方法 将 实体 嵌入 连续 低 维 向 


e1,e2 的 相似 性 。Simiaceard(ele?) 通 过 计算 AG 、4(e) 两 段 文本 量 空间 ， 通 过 计算 向 量 之 间 的 相似 度 集成 多 个 知识 实体 ， 以 
中 交集 元 素 个 数 与 并 集 元 素 个 数 的 比值 来 计算 实体 el、ez 的 育 知识 图 谱 中 现实 对 象 的 多 种 描述 信息 。 
相似 度 。 周 炫 余 等 人 [9 在 初中 数学 知识 图 谱 构 建 的 研究 中 ， 考 虑 

基于 上 下 文 信息 的 实体 链接 方法 根据 实体 所 处 的 上 下 文 ”到 从 百度 百科 和 互动 百科 网 站 爬 取 的 半 结 构 化 数据 和 教材 中 
环境 以 判断 实体 对 的 相似 度 。 文 献 [88] 针 对 计算 机 科学 等 学 ”的 非 结构 化 数据 之 间 没 有 建立 联系 ， 导 致 实体 的 数据 来 源 零 
科 的 专业 教材 资源 以 及 维基 百科 中 的 资源 进行 实体 链接 工作 ， ” 散 和 权威 性 不 够 等 问题 ， 提 出 图 6 所 示 的 基于 层次 过 滤 思 i 
通过 所 要 识别 实体 的 上 下 文 信息 与 领域 词典 进行 对 比 ， 确 定 ”的 知识 融合 模型 ， 极 大 程度 地 丰富 了 课程 实体 的 多 种 描述 
实体 所 属 的 领域 ， 然 后 结合 领域 特征 进行 实体 链接 ， 取 得 ] 息 。 其 中 ， 对 百度 资源 和 教材 资源 均 经 过 预 处 理 层 、 字 符 
较 好 的 效果 。 匹配 层 等 五 个 环节 进行 实体 对 齐 。 在 该 过 程 中 ， 除 了 使 用 传 
为 了 建立 教育 知识 图 谱 中 知识 点 与 多 模 态 教学 资源 之 间 ” 统 的 字符 串 匹 配 操 作 ， 还 在 词 形 匹 配 层 中 ， 将 实体 对 应 的 摘 
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TH 
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的 联系 ， 研 究 者 们 一 般 利 用 多 模 态 资源 的 元 数据 ， 例 如 教学 。 要 关键 词 信息 转换 为 向 量 ， 并 利用 余弦 相似 度 的 方法 补充 判 
网 站 中 图 片 的 超 链 接 等 文本 描述 形式 ， 或 者 通过 视频 字幕 处 。” 断 实体 间 的 相似 度 。 在 判断 实体 对 齐 的 基础 上 ， 进 一 步 使 用 


、 语 音 识 别 等 技术 将 多 模 态 数据 转换 成 文本 数据 ， 进 而 使 HowNet 语义 相似 度 和 谷歌 距离 语义 相似 度 方 法 将 课程 知识 
K 


dH 


实体 链接 技术 为 教育 知识 图 谱 添 加 多 模 态 资源 实体 。 但 上 实体 的 多 种 描述 信息 链接 到 知识 图 谱 中 。 
i 1 
百科 实体 对 齐 | 
1 
| ONI | Sievel: 预 处 理 层 | 
HIDE | 
HR 2 | Sieve2: 字符 串 匹 配 层 | 
| [ Sieves: | | 实体 链接 
! : S eZ T ea 鼎 = 
百度 百科 [— 1 | Sieve4: 词 形 匹配 层 - H HowNet 语 义 相似 度 
| Sieve5: 实体 融合 层 i 
i ZA He HET BTE. V J ` 
1 L| 谷歌 距离 语义 相似 度 B > 多 源 异 构 数 据 融合 
SEE 的 初中 数学 知识 图 
i 得 到 候选 实体 id 
© 1 教材 等 文本 实体 对 章 - - 
et | : Er. rH E ————I II 
- ! Sievel: 预 处 理 层 链接 实体 到 知识 库 
[zs l 
1 
| 


| | Sieve4: 词 形 匹 配 层 
| | Sieve5: 实体 融合 层 
1 


1 

l 

1 

l 

| 

O 教材 等 非 结 Sieve2: 字符 串 匹 配 层 ! | 

: 构 化 文本 OA [ Sievess SEXUM ] | 
EE]: 

l 

1 

l 


图 6 基于 层次 过 滤 思 想 的 知识 融合 模型 处 理 逻 辑 示意 图 
Fig.6 Processing logic schematic diagram of knowledge fusion model based on hierarchical filtering idea 

在 教育 领域 大 数据 研究 的 驱动 下 ， 研 究 者 提出 将 多 模 态 。 的 语义 鸿沟 和 结构 鸿沟 仍然 是 实体 对 齐 技术 的 关键 性 难题 ， 

数据 作为 实体 对 齐 数据 ， 扩 充实 体 对 应 的 多 模 态 知识 表示 形 后 续 可 以 从 特征 表示 的 相似 性 出 发 ,对 相似 度 模型 进行 探究 ， 

式 99。 但 该 种 方式 存在 多 模 态 知识 表征 困难 、 难 以 将 多 源 异 同时 也 可 以 考虑 对 抗 生 成 网 络 等 其 他 方案 。 

构 的 多 模 态 数据 嵌入 到 统一 的 低 维 向 量 空 间 中 进行 知识 表示 


= ^H saf S 
的 问题 。Chen 等 人 1 提出 一 种 实体 对 齐 的 方法 , 使 得 知识 融 4 ”教育 知识 图 谱 相 关 应 用 
合 模 块 能 够 集成 不 同 模 态 的 知识 表示 。 同 时 ， 为 了 减少 不 同 融合 多 模 态 资源 的 教育 知识 图 谱 可 以 帮助 学 习 者 选择 更 


模 态 资源 之 间 的 结构 性 差异 ，Guo 等 人 [3 提出 一 种 实体 对 齐 针对 性 的 学 习 资源 和 更 好 的 学 习 方式 中。 同时 ， 其 也 为 实 
方法 ， 对 KG 中 的 图 像 信息 、 三 元 组 信息 和 属性 信息 进行 知 岗 多 模 态 课程 知识 图 谱 、 个 性 化 学 习 资源 的 推荐 .知识 问答 、 
识 表 示 ， 并 最 小 化 公共 空间 中 跨 多 模 态 知 识 的 两 个 不 同 KG ”知识 检索 与 可 视 化 、 学 情 信息 建 模 等 智能 教育 应 用 提供 了 较 
的 对 齐 实体 之 间 的 距离 ， 为 多 模 态 知识 集成 提供 了 很 好 的 解 ”好 的 发 展 空间 。 


决 办 法 。 文 献 [93] 提 出 一 种 对 抗 训 练 的 方式 来 学 习 模 态 不 变 41 多 模 态 课程 知识 图 谱 

的 柑 入 空间 ， 以 缩小 不 同 模 态 资源 之 间 的 差距 ， 促 进 了 多 模 在 教学 场景 中 ， 会 产生 很 多 种 模 态 的 课程 资源 ， 帮 助 学 

态 知识 融合 的 效率 。 生理 解 相关 的 知识 点 ,但 当前 的 课程 资源 往往 是 单独 存在 的 ， 
实体 对 齐 技术 的 优化 依赖 于 教育 知识 表示 的 基础 研究 ， 没有 与 知识 点 建立 很 好 的 联系 ， 不 能 发 挥 多 模 态 资源 对 知识 

所 以 未 来 的 一 段 时 间 内 ， 多 模 态 资 源 在 知识 表示 空间 中 存在 。 ”点 的 解读 作用 。 同 时 ， 课 程 知识 的 整体 框架 多 是 以 书 中 的 章 
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录用 定稿 & A, F: 融合 多 
节目 录 关 系 呈 现 的 ， 而 章节 中 所 包含 的 细小 知识 点 和 知识 点 


> 间 的 关系 并 不 是 十 分 明确 ， 从 学 生 的 角度 来 i 


， 难 以 对 前 


后 所 学 的 知识 建立 联系 ， 接 受 知识 仍然 很 困难 。 


通过 对 权威 


的 教材 和 互联 网 学 习 平 台中 大 量 的 课程 资源 进行 
多 模 态 课程 知识 图 谱 能 够 有 效 地 解决 上 述 问题 ， 
建 模 提供 帮助 9%99。 


0 识 挖 气 ， 
为 课程 知识 


MOOC 平台 蕴涵 着 丰富 的 课程 资源 , 王 亮 59 使 用 


CRF 模型 对 学 科 资 源 进行 实体 识别 ， 获 取 课 程 知 
后 将 MOOC 课程 资源 目录 中 的 层级 关系 和 知识 
(学 习 视 频 标 题 、 练 习题 题目 、 讨 论 问 题 的 标题 ) 作 
的 初始 关系 ， 构 建 了 包含 微 视 频 、 练 习题 和 讨论 
学 资源 的 《C 语言 程序 设计 》 
运用 CNN-BiLSTM-CRF 模型 结合 学 科 词 典 对 《 


课程 教材 和 简 书 网 站 的 文本 资源 进行 实体 识别 ， 


Attention+BiLSTM 模型 抽取 知识 点 之 间 的 关系 ， 


BiLSTM- 
识 实体 ， 然 
实体 的 来 源 
为 实体 之 间 
区 问题 等 教 


课程 知识 图 谱 。 祁 晓 慧 等 人 [gm 


数据 结构 》 
然后 使 用 
在 此 基础 上 ， 


通过 语音 识别 软件 将 课堂 语音 识别 成 文字 ， 进 
对 应 的 语音 资源 ， 构 建 了 包含 语音 和 文本 资源 的 
知识 图 谱 。 文 献 [97] 依 据 图 
平台 中 大 学 电路 课程 的 理论 和 实验 课程 内 容 构建 
程 知 识 图 谱 ， 在 此 基础 上 ， 讨 论 了 知识 点 检索 、 
路 径 推 荐 、 智 能 教育 分 析 等 应 用 。 


7 所 示 的 研究 框架 ， 针 对 MOOC 


步 链 接 实体 
多 模 态 课程 


了 多 模 态 课 


个 性 


化 学 习 


mm 个 性 化 学 习 路 径 
知识 点 检索 推荐 


公式 原理 


知识 节点 A 


后 序 


知识 节点 C 


A Fre 知识 节点 B 


父子 节点 ”父子 节点 


图 7 多 模 态 电路 课程 知识 图 谱 研究 框架 
Fig.7 Research framework of knowledge graph of multimodal 
从 学 科 知 识 融 合 的 角度 来 说 ， 在 内 容 上 有 关 


circuit course 


医 的 课程 知 


识 是 可 以 被 连接 在 一 起 的 ， 但 不 同 课程 的 内 容 不 
构 也 不 同 ， 难 以 实现 多 学 科 知识 的 关联 。 因 此 ， 


司 ， 体 系 结 
Ku oO 


问题 ， 吸 需 制 定 一 个 应 | 
识 图 谱 的 构建 规范 ， 既 可 


j 在 教育 领域 的 普 适 的 多 模 态 课程 知 
以 加 快 单一 模 态 到 多 模 态 课程 知识 


图 谱 的 研究 步伐 ， 也 可 以 


行 有 效 地 融合 ， 更 好 地 为 智能 化 教 
4.2 个 性 化 学 习 资源 推荐 


3 NJ 


依据 学 习 者 之 间 不 同 的 学 习 进 度 ， 为 他 们 提供 适合 自己 
其 个 性 化 发 展 是 智能 教育 场景 的 基本 要 求 。 


的 教学 资源 ,促使 


促进 相互 关联 的 多 模 态 课程 资源 进 
提供 服务 。 


ChinaXiv 合 作 期 刊 


模 态 资源 的 教育 知识 图 谱 的 内 涵 、 技 术 与 应 用 研究 


吴 吴 等 人 9 提出 一 种 融合 知识 图 谱 的 多 任务 特征 推荐 算法 
(Multi-Layer Knowledge Graph Recommendation; MLKR), f 
效 地 解决 了 在 线 课 程 资 源 缺 失 导 致 
文献 [100] 提 出 一 个 端 到 站 
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荐 效果 不 理 


想 的 问题 。 


型 来 提供 基于 多 模 态 数据 源 的 推荐 ， 


表示 的 方法 能 


有 效 地 提升 


多 模 态 资源 应 | 


意 力 机 制 描述 


本 信息 、 


特征 表示 ， 并 通过 


HE, 


上 的 多 模 态 兴趣 相关 项 目 


推荐 系统 的 性 能 。 Sun 等 人 0 
于 基于 知识 图 谱 的 推荐 系统 中 ， 并 使 用 图 注 
图 片 信息 ， 使 得 推荐 结 
用 协同 过 滤 结 合 知识 
Base Embedding,CKE) 进 行 资源 


目 相 似 性 模 
证 明了 融合 多 模 态 数据 


M 


果 更 准确 。 文 献 [102] 采 


如 谱 特征 的 方法 (Collaborative Knowledge 


着 重 利用 知识 图 谱 的 文 


结构 化 信息 和 


[视觉 信息 进行 


pae E 


REFAH 


嵌入 ， 补 充 资 源 信 息 的 
与 


Ej AS 


资源 的 知识 表示 ， 解 


决 了 传统 的 
Tii 


协同 联合 学 习 


T Amin 
9 问题 , 提 


(用户 隐身 量 ) 


知识 库 嵌 入 


38 
& A 


Item 信 息 


用 户 信息 


图 谱 的 推 
六 了 推荐 系统 的 质量 ， 


TUN 


Ef 资源 交互 


其 推荐 流程 如 图 8 所 示 。 


(tesi 


2E 
ES 


图 8 基于 CKE 的 推荐 系统 流程 图 


结构 化 知识 


文本 知识 


视觉 知识 


Fig.8 Flow chart of recommendation system based on CKE 


式 ， 但 如 何 利 月 


的 学 习 资 源 


E EH 
前 应 重点 关注 的 问题 。 

4.3 ”知识 问答 

前 ， 在 问答 系统 中 引入 图 像 等 多 模 态 信息 的 研究 受到 


目前 ， 基 于 教育 知识 图 谱 的 资源 推荐 研究 还 处 于 初步 阶 
段 ， 多 模 态 资源 能 够 为 学 习 者 提供 适合 自 
语义 多 样 和 结构 多 元 的 多 模 态 资源 解决 传统 
FP 存在 的 数据 稀 玻 等 问题 ， 是 而 


己 的 多 元 化 学 习 方 


究 者 当 


教育 界 的 广泛 关注 ， 无 论 是 在 问题 理解 还 是 答案 呈现 方面 ， 
自然 语言 能 够 表达 的 信息 都 很 有 限 ， 结 合 多 模 态 信息 可 以 为 
知识 问答 系统 带 来 多 元 的 知识 表示 形式 ， 从 多 个 角度 精准 刻 
画 学 习 者 的 需求 。 教 育 知识 图 谱 能 够 为 体 量 巨大 且 结构 关系 
错综复杂 的 学 科 知 识 处 理 提 供 支 撑 ， 然 后 根据 学 习 者 的 个 性 
化 知识 需求 从 图 谱 中 查询 或 者 经 过 复杂 关系 推理 ， 得 到 能 够 


能 问答 系统 ， 


姑 此 ， 如 果 能 为 学 习 者 提供 类 似 于 个 性 
的 多 元 化 应 用 形式 ， 在 


化 推荐 委 


题 ， 进 一 步 提升 
谱 应 用 于 知识 资源 


Ds 


E 荐 的 研究 逐渐 开始 涌现 。 


习 视 频 这 样 


定 程度 上 能 够 激发 学 习 者 的 热情 ， 
是 高 学 习 效 率 。 教 育 知识 图 谱 能 够 为 学 习 者 集成 多 模 态 的 学 
习 内 容 , 并 依据 学 习 者 的 学 习 进 度 为 其 推荐 相关 的 学 习 资 源 。 
同时 ， 利 用 教育 知识 图 谱 中 实体 之 间 丰 富 的 语义 关系 表示 ， 
有 助 于 改善 传统 的 推荐 算法 中 存在 的 数据 稀 琉 、 冷 启动 等 问 
E 荐 系统 的 质量 。 所 以 近年 来 ， 将 教育 知识 


文献 [98] 构 建 了 计算 机 网 络 课程 知识 图 谱 ， 结 合 知识 点 


与 习题 生成 信息 向 量 ， 通 过 分 析 学 习 者 的 


志 数 据 ， 利 用 错 


误 答 案 练习 题 与 知识 点 之 间 的 相似 度 为 学 习 者 


E 


期 末 习 题 。 


解决 办 法 。 


与 学 习 者 的 需求 相 适 应 ， 学 
知识 问答 。 例 如 ， 在 大 学 计算 机 
组 结构 是 什么 ? 入 “线性 表 是 什么 ? 


信息 查询 方案 。 


LEA gn 


AA H 
文献 [104] 结 合 图 像 和 
形式 的 图 谱 ， 解 决 了 从 长 文本 课程 
视觉 特征 融合 的 问题 ， 


满足 学 习 者 需求 的 教育 知识 解释 。 
Zhao003l 等 人 设计 了 一 个 多 模 态 领域 知识 图 谱 驱动 的 知 
能 问答 和 图 像 识 别 技术 ， 实 现 了 高 效 的 


文本 信息 构建 了 上 下 文 


在 教科 


提取 知识 特征 并 将 其 与 
书 问答 方 


看 提供 了 很 好 的 


习 者 不 再 


局 限于 一 些 简单 的 


实 场 景 中 学 生 更 多 关注 于 “人 逻辑 结构 


数据 结构 有 明 


bh 些 ?” 等 一 系列 涉及 知识 
问题 。 解 决 这 类 问题 ， 需 要 依 所 
元 组 找到 另 一 条 三 元 组 ， 直 至 找到 问题 的 解答 。 


基于 多 跳 


E 理 的 知识 


图 谱 问答 


sd 


居多 跳 推理 的 方式 ， 从 一 


jc REE "E 
”这 样 简单 的 问题 ， 现 
中 和 线性 表 类 型 相同 的 
图 谱 中 多 个 节点 的 复杂 
条 三 
内 外 


前 国 


究 有 很 多 ， 但 融合 多 模 态 信 


202204.00046v1 


chinaXiv 


录用 


E 


的 多 模 态 内 容 表示 为 复杂 问题 的 多 跳 推理 研究 提供 


识 图 谱 的 一 个 习 


教育 知 


定稿 


息 进 行 知 识 图 谱 的 


多 跳 推 


4.4 知识 检索 与 可 视 化 


的 知识 点 检索 与 可 视 


到 教 
象 ， 
索 某 个 特定 知识 点 
展示 出 来 。 


y 
小 


识 检索 系统 ， 实 现 了 课程 底层 的 知识 点 检索 路 径 ， 使 得 学 生 


知识 图 谱 中 


里 研究 却 鲜 有 提 及 ， 如 何 
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要 研究 内 容 。 


dg ob 
E 
oon 


为 了 增强 学 习 者 对 知识 体系 的 认 知 ， 提 供 全 面 、 多 层次 
化 展示 功能 ， 学 者 们 将 多 模 态 知识 融合 


， 其 主要 是 以 构建 好 的 教育 知识 图 谱 为 对 


将 知识 网 络 以 


图 的 形式 展示 给 学 习 者 ， 也 要 在 学 习 者 检 


时 ， 将 与 该 知识 点 相关 的 其 他 知识 点 等 资 


文献 [87] 基 于 构建 好 的 《数据 结构 》 课 程 知识 图 谱 搭建 知 


fs 
ET 
Fi 


目 关 研究 者 多 是 从 知识 
等 有 限 的 研究 视角 


育 
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前 ,学 术 界 对 于 教育 知识 图 谱 还 没有 
理 、 学 习 者 认 知 以 及 教育 信息 服务 
知识 图 谱 的 概念 进行 阐述， 对 其 认 


成 统一 的 定义 ， 


BR. sd EE Ae TE SLUT TUAE 
到 谱 的 认 知 。 例 如 ， 深 度 挖掘 、 
正 ， 为 智能 教育 应 用 提供 服务 


等 上 22029， 对 教育 知识 图 
b) 缺 乏 高 质量 的 教育 资源 数据 集 


E 度 ， 拓 宽 学 术 界 对 
融合 和 分 析 多 模 
的 “多 模 态 学 习 


一 Wx E3 AH 


TK o 


技术 被 广泛 应 用 于 教 


型 


学 习 的 效率 得 以 大 幅 提 升 。Rafailidis 等 人 0035 提 出 一 个 多 模 
态 内 容 检索 框架 ， 通 过 构造 多 模 态 空间 捕捉 多 模 态 内 容 之 间 
的 语义 关联 , 支持 学 习 者 对 文献 中 不 同 模 态 的 资源 (图 像 、 音 


JW. 3D. TUSUR 
VisualSem 知识 图 谱 ， 


文本) 进行 统一 检索 。Alberts 等 人 19 构建 了 


包括 多 个 图 像 以 及 视觉 相关 关系 的 


EE, 发 布 了 一 个 多 模 态 检索 模型 ， 


节点 ,并 在 知识 图 谱 的 旭 
可 以 
Kannan 等 人 07 利用 知识 


使 用 图 像 或 句子 作为 输入 ， 检 索 知 识 图 谱 中 的 实体 。 


图 谱 集 成 多 模 态 信息 ， 并 支持 学 习 


体 


的 训练 需要 大 量 的 数 和 
高 质量 数据 集 较 少 ， 多 数 研 究 者 依靠 
居 集 来 完成 教育 知识 图 谱 构 建 的 任 


图 谱 的 构 
着 作 为 支撑 。 


该 种 方式 


岗 相关 模型 的 说 服 力 。 


|j MOOC 等 传统 用 


F 源 学 习 网 站 和 真实 教学 场景 


里 ， 丰 富 和 完善 教学 资源 数 扩 


内 容 之 一 。 
TT Elis] 为 单位 的 文本 分 析 任务 ,BERT 模型 不 能 直接 
量 的 领域 词 向 量 
到 谱 的 构建 离 不 开 自 


此 ， 加 速 
P 多 模 态 教 


Rh AUNT 


然 语 言 技术 


E» M 


者 对 文献 中 的 文本 


、 图 像 和 源 代 码 进 行 查询 。 
基于 教育 知识 图 谱 的 知识 检索 与 可 视 化 功能 不 仅 要 展示 


一 个 知识 点 相对 应 的 不 同 模 态 的 教学 内 容 ， 更 重要 的 是 ， 如 


学 情 信息 建 模 


智能 教育 和 传统 的 教育 方式 很 大 的 一 个 区 别 就 是 能 够 依 


据 学 习 者 自身 的 学 


ob. 具有 挑战 性 的 了 
该 过 程 需要 充分 发 挥 

的 技术 优势 ， 利 用 信息 抽取 
术 ， 以 标签 化 的 信息 描述 


学 习作 


m 


习 状态 和 知识 掌握 情况 进行 调整 教学 。 这 


通过 自身 己 有 的 知识 关系 ， 推 理 出 新 的 多 样 化 关系 ， 满 


里 研究 中 炙手可热 
LARN., HA, BERT 多 数 是 但 


的 研究 方 


MA 
属 以 BERT 为 
HAE In] EAS XC 


栖 识 别 等 以 词 为 处 型 


学 习 者 对 知识 的 深度 需求 ， 多 模 态 资源 在 该 过 程 中 扮演 着 
要 的 角色 ,未 来 相关 研究 者 应 在 此 方向 中 投入 更 多 的 精力 。 


[ 作 就 是 对 学 习 者 的 学 情 进 行 建 模 分 析 。 
教育 知识 图 谱 在 数据 处 理 、 分 析 等 层面 


情感 分 析 以 及 数据 可 视 化 等 技 


学 习 者 的 多 维特 征 ， 为 不 同 阶段 的 
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单一 模 态 数据 能 多 
通过 课堂 音 视频 录像 和 


多 表征 的 学 情 信息 很 有 限 , PCR AU 
讨论 区 发 帖 信息 追踪 学 习 者 的 学 习 轨 


迹 ， 获 取 了 学 习 者 的 认 知 水 平 信息 。Nandi 等 人 010 综 述 了 在 


e-learning 中 挖 提 
Camacho 等 人 


为 模式 ， 并 使 ) 


昌 多 模 态 数据 进行 学 习 者 情感 识别 的 研究 。 
1 利用 物 联 网 和 可 穿戴 设备 采集 学 习 者 的 行 
机 器 学 习 技术 和 多 模 态 学 习 分 析 (Multimodal 


Leaming Analytics, MMLA) 方 法 构建 了 能 够 解释 学 生 参 与 学 习 情 


况 的 模型 。Buitel 
中 有 效 控 和 
化 ， 为 学 习 者 学 


aar 5 AU 


Eh TATUAXE, EEBURUDUSI 


昌 用 户 情感 


青 信 


FEH 


的 开源 工具 , 并 使 用 知识 图 谱 进行 可 视 
息 的 全 方位 表征 提供 了 可 能 性 。 


当前 ， 针 对 学 习 者 学 情 信息 建 模 的 方法 只 停留 在 浅显 的 


层次 ， 并 不 能 深层 扣 
眼 动 追踪 、 脑 
音 视 频 录 像 信 息 ， 深 度 挖 


使 


的 教育 知识 库 ， 对 BERT 模型 进行 微调 
以 生成 高 质量 的 领域 词 向 量 0529， 支 撑 面向 教育 数据 的 以 
EA. 
[HAYE 2T ROSE Z 


于 知识 日 


本 ， 无 法 直接 获取 符合 领域 需求 的 高 质量 的 词 级 向 量 ， 对 实 
单位 的 文本 分 析 任 务 ; 
以 考虑 利用 少量 的 领 


成 了 一 定 的 困扰 。 
或 标注 数据 ， 例 如 


的 正确 性 要 求 极为 严 苛 ， 
到 谱 的 数据 质量 是 极为 重要 的 。 目 前 ， 教 
依靠 专家 知识 或 者 教师 的 经 验 去 尖 
化 关系 是 否 适 


E 教 
知识 图 谱 的 
I 别 相关 数据 是 
的 人 力 ， 而 


]， 不 仅 消耗 大 


i2 M 


的 主观 评估 容易 导致 评估 结果 的 差 


统一 的 评估 方法 或 者 评估 标准 ， 在 保证 教 


4 基础 上 体现 知识 的 多 样 化 特性 ， 对 于 


到 谱 来 说 是 至 关 重 要 的 。 
， 难 以 准确 


Lt c BUS Mus 


的 元 数据 融入 教 


展 可 知 ， 教 育 知识 


有 捉 学 习 者 的 情感 和 认 知 特征 。 未 来 可 以 


电感 应 等 多 模 态 生物 识别 技术 ， 结 合 课堂 


E 学 习 者 的 行为 、 心 理 和 生理 层 数 


dp. 为 学 习 者 成 绩 预测 、 个 性 化 学 习 路 径 生 成 等 任务 提供 支持 。 


5 


问题 与 挑战 


多 模 态 资源 融入 教 


然而 ， 随 着 教育 知识 图 训 
民 多 问题 随 之 产生 。 
究 的 角度 ， 对 融合 多 模 态 


K, í 


面向 智能 教育 应 月 


育 知识 


的 多 模 态 数据 处 理 方法 日 益 成 熟 ， 将 


图 谱 的 研究 已 经 成 为 了 必然 的 趋势 。 


处 理 的 知识 资源 涵盖 范围 的 不 断 扩 


问题 与 挑战 进行 总 结 。 
a) 对 于 教育 知识 图 谱 的 认 知 有 待 进一步 研究 


P3 
资源 的 教育 知识 图 谱 研究 中 存在 的 


A 


E 


i d BUS tl 


H 
谱 的 构建 


zy XU 


到 谱 对 多 模 态 资源 
昌 转 换 成 文本 数据 ， 
实体 链接 技术 添加 多 模 态 资源 。 下 一 阶段 ， 利 用 多 
知识 图 谱 的 方式 仍然 会 是 一 个 优 
里 方式 存在 片面 性 的 问题 ， 不 能 准确 地 
加 多 模 态 资源 自身 的 特征 。 因 此 ， 在 教育 知识 图 
过 程 中 找到 能 够 准确 挖 


的 Siri, “小 度 机 器 人 ”等 智能 机 器 人 


良好 的 交互 体验 获得 了 较 高 的 记 
知识 获取 形式 的 智能 教育 机 器 人 引起 了 相关 而 
机 器 人 需要 大 量 的 结构 化 数据 作为 支撑 ， 现 


E 的 方法 ， 是 未 来 看 


知识 库 难 以 满足 智能 教育 机 器 人 的 


F 价 。 以 人 机 交互 为 主要 


者 的 注意 。 


岗 教学 内 容 的 教 


下 来 ， 将 从 内 涵 、 技 术 和 应 用 研 


LE 与 交互 方面 可 以 发 挥 


较 好 的 作用 。 
只 图 谱 与 智能 教育 机 器 人 


知识 库 难 以 满足 其 发 展 需求 。 使 


XE. FK 


加 谱 的 教育 信息 服务 


育 知 识 


e if dE An Ub 


没有 


因此 ， 下 一 步 的 研究 广 
的 结合 与 应 用 。 
于 多 模 态 课程 


同 相 关 的 教学 活动 建立 广泛 的 联系 


在 教育 信息 服务 领域 , 融合 多 模 态 资源 的 教育 知识 图 谱 应 用 
已 经 开始 向 多 方面 拓展 , 但 目前 仍 局 限 在 多 模 态 课 程 知识 图 谱 
究 中 ， 并 没有 同 相关 的 教学 活动 建立 广泛 的 联系 。 随 着 相关 技术 
的 成 熟 ， 未 来 的 研究 可 以 深入 到 教学 场景 中 ， 突 破 课程 知识 图 谱 
的 限制 ， 将 学 科 知 识 体 系 、 教 学 资源 和 受 教育 者 学 习 轨 迹 等 教学 
活动 进行 关联 ， 实 现 教 与 学 过 程 的 可 视 化 ， 朝 着 智能 教育 应 用 的 
方向 到 进 ， 最 大 限度 地 促进 教育 信息 服务 。 


6 ”结束 语 


教育 知识 图 谱 通 过 处 理 大 量 无 序 、 结 构 复杂 的 多 模 态 教 
育 数据 ， 使 其 形成 结构 化 的 、 能 够 被 直接 利用 的 知识 体系 ， 
是 人 工 智能 时 代 对 教育 知识 建 模 的 有 效 手 段 。 同 时 ， 通 过 教 
育 知识 图 谱 结构 化 的 多 模 态 知识 ， 能 够 为 基于 深度 学 习 的 数 
据 挖掘 技术 提供 先 验 知识 ， 提 升 挖掘 的 准确 度 与 效率 。 本 文 
从 多 模 态 资源 的 角度 ， 对 教育 知识 图 谱 进 行 综述 并 得 出 以 下 
结论 。 多 模 态 资源 对 教育 知识 图 谱 构建 技术 性 能 地 提升 具有 
关键 性 的 作用 ， 是 未 来 一 段 时 间 教 育 图 谱 构 建 技术 改进 的 重 
要 研究 方向 ， 融 合 多 模 态 资源 的 教育 知识 图 谱 在 多 模 态 课程 
知识 图 谱 、 个 性 化 学 习 资 源 推荐 、 知 识 问答 、 知 识 检 索 与 
视 化 、 学 情 信息 建 模 等 方面 都 有 了 积极 的 尝试 ， 但 都 还 处 于 
探索 阶段 。 未 来 应 从 教育 知识 图 谱 的 认 知 教育 资源 数据 集 、 
预 训练 模型 以 及 教育 知识 图 谱 的 知识 评估 方法 等 方面 继续 研 
究 , 为 教育 知识 图 谱 在 智能 教育 领域 的 应 用 提供 有 效 地 支撑 。 
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